Skip to content

fix(log-alerts): AI 분석용 Loki 컨텍스트 쿼리 전달 - #78

Merged
developowl merged 2 commits into
mainfrom
feat/log-alert-policy-context
Jun 25, 2026
Merged

developowl merged 2 commits into
mainfrom
feat/log-alert-policy-context

Conversation

@developowl

@developowl developowl commented Jun 24, 2026 •

Copy link
Copy Markdown
Collaborator

Summary

Closes #77.

  • 로그 alert rule에 cluster, source, category, threshold 메타데이터를 추가했습니다.
  • 각 로그 alert에 ai-analyzer가 재조회할 logql_context_query annotation을 추가했습니다.
  • ai-analyzer Loki fetcher가 logql_context_query를 우선 사용하도록 했습니다.
  • fallback selector에서 cluster/namespace를 Loki 실제 라벨인 k8s_cluster_name/k8s_namespace_name으로 정규화합니다.

Why

Slack 스레드의 AI 분석 결과에서 loki_lines=0이 나오는 원인은 alert 라벨의 cluster=pc1을 Loki selector {cluster="pc1"}로 그대로 조회하는 흐름일 가능성이 큽니다. 실제 Loki stream label은 k8s_cluster_name="pc1"이므로 로그 기반 alert는 명시적인 LogQL 컨텍스트 쿼리를 넘기고, 일반 fallback도 라벨명을 정규화하도록 수정했습니다.

Validation

  • git diff --check
  • ruby -e 'require "yaml"; YAML.load_file("apps/log-server/values.yaml"); puts "yaml ok"'
  • PYTHONPYCACHEPREFIX=/tmp/codex-pycache python3 -m py_compile apps/ai/ai-analyzer/app/context/loki.py

@developowl
developowl force-pushed the feat/log-alert-policy-context branch from c47c668 to d49febc Compare June 25, 2026 00:37
@developowl
developowl merged commit d3d5d85 into main Jun 25, 2026
1 check passed
developowl added a commit that referenced this pull request Jun 25, 2026
* fix(log-alerts): pass Loki context query to ai analyzer

* refactor(log-alerts): align Loki rules with host resource alerts

* fix(ai-analyzer): pin LOKI_URL to log-server Tailscale IP

검증 중 ai-analyzer pod 의 Loki 조회가 매번 `[Errno -2] Name or
service not known` 로 실패하는 것을 확인. pod 의 resolv.conf 가
cluster CoreDNS (10.43.0.10) → Tailscale DNS (100.100.100.100)
순서인데, CoreDNS 가 `tail07adfd.ts.net` 에 대해 NXDOMAIN 을
반환해서 glibc resolver 가 두 번째 nameserver 로 fallback 하지
않음. dnsConfig.nameservers 가 박혀 있어도 우선순위가 안 먹는
구조적 한계.

#76 (otel-gateway export endpoint) 와 같은 패턴으로 Tailscale IP
(observ-log-server = 100.68.2.91) 를 직접 박아 우회. README 환경변수
표와 values.yaml 주석에 이유 명시. PR #78 (logql_context_query
annotation) 의 실측 검증 prerequisite.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

---------

Co-authored-by: Claude Opus 4.7 <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

로그 alert의 AI 분석 컨텍스트 조회 개선

1 participant